Khoảng năm 1984, Lionel và vợ của ông là Brenda Richie nhận nuôi một bé gái 3 tuổi. Họ chăm sóc cô bé như con đẻ của mình và đặt tên nó là Nicole Richie. Đến năm 1990, họ mới có được giấy phép chính thức được quyền nuôi đứa bé. Thế nhưng sau 16 năm chung sống, Brenda và Lionel ly dị. Dường như ngay lập tức, Lionel cưới Diane Alexander làm vợ thứ hai. Ông và Diane có hai con gái.